Mấy năm sau, Hán Vũ Đế phong Lý Quảng làm chức Lang trung lệnh thay cho Thạch Kiến vừa mất.

Năm 123 TCN, Lý Quảng lại được lệnh ra đánh Hung Nô nhưng không lập được công.

Sang năm 121 TCN, Hán Vũ Đế lại cử Lý Quảng cùng Vệ Thanh và Hoắc Khứ Bệnh.[15][16][17] Cánh quân của ông gồm 4000 quân kị được lệnh tiến ra Hữu Bắc Bình, cùng đi với Bác Vọng hầu Trương Khiên nhưng khác đường. Khi đi được độ vài trăm dặm, Lý Quảng giao tranh với 40 vạn quân của Tả Hiền Vương Hung Nô.[18] Thấy quân lính hoảng sợ, Lý Quảng sai con là Lý Cảm ra đánh, Lý Cảm cho rằng quân Hồ dễ đối phó, do đó quân sĩ yên lòng.

Lý Quảng cho bày trận đánh Hung Nô nhưng chưa gì thì tên đã gần hết mà quân lính cũng thiệt hại nhiều. Ông bèn ra lệnh cho quân cứ giương cung chứ đừng bắn. Rồi Quảng thân cầm nỏ đại hoàng bắn các tì tướng của giặc, giết được mấy tên.

Sang ngày hôm sau, nhờ sự giúp đỡ của Trương Khiên, Lý Quảng ra sức đánh Hung Nô, buộc chúng giải vây rút lui. Nhưng quân của Lý Quảng cũng mất gần hết, ông buộc lòng phải lui về.

Năm 119 TCN, Hán Vũ Đế lại ra quân đánh Hung Nô. Lý Quảng nhiều lần tự xin đi. Hán Vũ Đế thấy ông già nên ban đầu không cho, sau mới thuận, nhưng lại bảo Vệ Thanh không được cho ông đối địch với Hung Nô.

Khi đưa quân ra ngoài cửa ải, đại tướng Vệ Thanh biết nơi Thiền Vu Hung Nô đóng, bèn thân hành đem tinh binh đi đánh, sai Lý Quảng đem quân đi đường phía Đông quanh co và xa. Lý Quảng bèn xin đi tiên phong.

Bấy giờ tướng Công Tôn Ngao lại vừa mất tước,[19] đi theo Vệ Thanh. Thanh muốn cùng Ngao sang đánh Thiền Vu cho nên mới đổi tiền tướng quân Quảng vào việc khác, do đó ông không nghe lời Lý Quảng, sai người đưa thư cho Lý Quảng bảo mau đem quân về phía đông. Lý Quảng tức giận không thèm từ giã, đem quân ra lối phía đông, nhưng vì không có người dẫn đường có khi lạc cả lối, nên đến sau.

Vệ Thanh ra quân thắng trận nhưng không bắt được thiền vu đành trở về, gặp quân của Lý Quảng. Vệ Thanh sai viên trưởng sử đem rượu và lương khô cho ông và hỏi về việc lạc đường. Nhưng ông chưa kịp trình, Vệ Thanh đã đòi các tướng dưới quyền Lý Quảng đến lấy cung. Lý Quảng bảo sẽ tự đến. Sau đó ông bảo người dưới quyền

Quảng này từ khi kết tóc đánh nhau với Hung Nô, lớn, nhỏ hơn bảy mươi trận. Nay được may mắn theo đại tướng quân đi, giáp chiến với quân của Thiền Vu, mà đại tướng quân lại bắt Quảng phải đem quân đi lối vòng xa, rồi lạc mất đường? Đó há chẳng phải tại trời sao? Vả chăng Quảng ngoài sáu mươi rồi, dù sao cũng không thể mặt mũi nào nhìn bọn thư lại lần nữa!

Sau đó ông rút gươm tự tử.[15][20] Từ lúc tòng quân năm 165 TCN đến lúc mất năm 119 TCN, Lý Quảng hoạt động 46 năm, thọ hơn 60 tuổi.